Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
一次性字幕，按需取帧：预算感知的智能体长视频理解视觉需求路由
🧭 预算感知的长视频理解 Agent 路由
Queen Mary University of London · Independent Researcher · Durham University · Imperial College London · Huawei
提出边云协同的 CFD 框架，用双轨叙事索引和视觉需求路由器按需取帧，显著降低长视频在线视觉处理成本
📌 工作参考价值（4 点）
- 借鉴双轨索引思想：在电商直播/商品视频理解中，离线生成事件级叙事骨架 + 片段级细节日志，将长视频转化为可复用索引，后续 query 只查索引不重跑 captioning，降低线上 token 与耗时。
- 将 Visual-Need Router 改造成多模态 RAG/Agent 中的“证据门槛”：根据 query 是否涉及外观、OCR、属性判别，决定是否检索原图/帧；时序、流程类问题直接走文本 memory，从而控制每 query 的多模态检索成本。
- 边云预算分离：让边缘端承担一次性离线 captioning 与索引缓存，云端按 query 拉取有界关键帧，适合直播回放、素材审核、商品视频 QA 等预算敏感场景，避免逐 query 全量视频重灌模型。
- “按 query 封顶视觉证据数，与内容长度无关”可以迁移到搜索推荐 Agent 的工具调用：为商品主图、评论、卖点等证据源设置 budget，只有 router 认为必要时才触发额外检索，防止长文档/长视频 query 的成本爆炸。